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(57) Abstract: The invention relates to an image processing 
system for omnidirectionally reading optical patterns, e.g. one- 
dimensional and two-dimensional codes. The aim of the inven- 
tion is to create an image processing system that ensures a high 
resolution and fast processing so as to allow especially real-time 
video processing while providing secure recognition of the im- 
age data, particularly reliable and low-error edge detection, seg- 
mentation, and object allocation. Said aim is achieved by using 
several convolvers that operate in parallel and/or in a time divi- 
sion multiplex method in order to fold the digital image data, a 
neighborhood processor (90) for reading out and linking con- 
tour points (22), and/or a statistics processor for reading out a 
segment list. 

(57) Zusammenfassung: Die Erfindung betrifft ein 
Bildverarbeitungssystem zum omnidirektionalen Lesen von 
optischen Mustern, z.B. von einund zweidimensionalen 
Codes. Es ist eine Aufgabe ein Bildverarbeitungssystem 
bereit zu stellen, welches eine hohe Auflosung bei gleichzeitig 
schneller Verarbeitung gewahrleistet, um insbesondere eine 
Verarbeitung in Videoechtzeit zu ermoglichen sowie eine 
sichere Erkennung der Bildinformation, insbesondere eine 
zuverlassige und. fehlerarme Kantendetektion, Segmentierung 
und Objektzuordnung, bereit zu stellen. Erfindungsgemass 
wird dies durch den Einsatz mehrerer parallel und/oder im 
Zeitmultiplexverfahren arbeitenden Convolver zur Faltung der 
digital en Bilddaten, eines Nachbarschaftsprozessors (90) zum 
Auslesen und Verketten von Konturpunkten (22) und/oder 
eines Statistikprozessors zum Auslesen einer Segmentliste 
erreicht. 



WO 2005/073911 Al 111 III II II 11 III I Hill III I II III III ill III III III ill 



MG, MK, MN, MW, MX, MZ, NA, NI, NO, NZ, OM, PG, 
PH, PL, PT, RO, RU, SC, SD, SE, SG, SK, SL, SY, TJ, TM, 
TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, YU, ZA, ZM, 

ZW. 

(84) Bestimmungsstaaten (sow^'/ m'c/z/ anders angegeben, fur 
jede verfiigbare regionale Schutzrechtsart): ARIPO (BW, 
GH, GM, KE, LS, MW, MZ, SD, SL, SZ, TZ, UG, ZM, 
ZW), eurasisches (AM, AZ, BY, KG, KZ, MD, RU, TJ, 
TM), europaisches (AT, BE, BG, CH, CY, CZ, DE, DK, 
EE, ES, FI, FR, GB, GR, HU, IE, IT, LU, MC, NL, PT, 



RO, SE, SI, SK, TR), OAPI (BF, BJ, CF, CG, CI, CM, GA, 
GN, GQ, GW, ML, MR, NE, SN, TD, TG). 

Veroffentlicht: 

— mit internationalem Recherchenbericht 

Zur Erkldrung der Zweibuchstaben- Codes und der anderen Ab- 
kiirzungen wird auf die Erklarungen ("Guidance Notes on Co- 
des and Abbreviations") am Anfang jeder regular en Ausgabe der 
PCT -Gazette verwiesen. 



WO 2005/073911 



PCT/EP2004/000831 



Bildverarbeitungs system 



Beschreibung 



Gebiet der Erfindung 

Die Erfindung betrifft ein Bildverarbeitungssystem im 
Allgemeinen und ein Bildverarbeitungssystem zum 
omnidirektionalen Lesen von optischen Mustern, z.B. von ein- 
und zweidimensionalen Codes im Besonderen. 

Hintergrund der Erfindung 

Die Bildverarbeitung zur automatischen Mustererkennung ist 
eines der anspruchsvollsten und herausragenden 

Forschungsgebiete derzeit. Die potentiellen Anwendungen sind 
nahezu unbegrenzt . 

Einfache Vorlaufer der Mustererkennung sind die 
weitverbreiteten Laserscanner zum Detektieren von 
eindimensionalen Strichcodes. Die digitale Bildverarbeitung 
geht jedoch weit daruber hinaus, da mit ihr nicht nur die 
Erkennung von eindimensionalen Strichcodes, sondern auch von 
zweidimensionalen Codes oder komplexen Bildern, insbesondere 
auch von im Vorhinein unbekannter Struktur moglich ist, bis hin 
zu einer Erkennung wie sie auch vom Auge in Zusammenarbeit mit 
dem Gehirn ermoglicht ist. 

Eine mogliche Anwendung ist z.B. die Erkennung eines Codes, 
welcher an beliebiger Stelle eines Kraf tf ahrzeuges in der 
Produktionslinie aufgebracht ist, urn den Produktionsprozess 
umfassend uberwachen und steuern zu konnen. Da die Codes im 
Vergleich zu den Autos relativ klein sind und an 
unterschiedlichen Stellen angebracht sein konnen, ist diese 
Anwendung in Bezug auf die erf orderliche Qualitat und Auflosung 
hochst anspruchsvoll . Aber auch die unterschiedliche 
Beleuchtung in einer ProduktionsstraSe wirft erhebliche 
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Schwierigkeiten fur die Bilderkennung auf . Dies geht einher mit 
immer wachsenden Anspruchen an die 
Verarbeitungsgeschwindigkeit . 

Bildverarbeitungssyteme gehen typischerweise von einem 
digitalen zweidimensionalen Bild aus, welches z.B. von einer 
CCD-Kamera bereit gestellt wird. Die von der Kamera gelieferten 
digital weiter verarbeitbaren zweidimensionalen Bilder, werden 
dann der Mustererkennung zugef uhrt . Jedoch sind auch andere 
bildgebende Systeme, z.B. Rontgent omographen , NMR-Tomographen 
oder Scanner einsetzbar, urn nur eine mogliche Auswahl zu 
nennen . 

Die wirkliche Erkennung eines Bildes, d.h. die Erkennung von 
Strukturen aus denen das Bild zusammengeset zt wahrgenommen 
wird, ist ein komplexer Vorgang. Eine Grunduberlegung hierbei 
ist, dass ein Bild in grafische Grundstrukturen zerlegbar ist, 
welche in ihrer Gesamtheit das Bild reprasentieren . Diese 
Grundstrukturen sind im einfachsten Fall gerade oder gekrummte 
Linien, sie konnen aber auch von komplexer er Natur sein. 
Derartige Grundstrukturen werden auch als grafische Primitiven 
bezeichnet . 

Diesbezuglich lasst sich die Erkennung in zumindest zwei Phasen 
aufteilen. Erstens werden Bildpunkte, welche grundsatzlich 
einer Grundstruktur zuordenbar sind, herausgef unden und 
zwei tens werden die herausgef undenen Bildpunkte, welche zu 
derselben Grundstruktur gehoren, zusammengef asst , urn eben die 
Form, Lage, Grofie etc. dieser Grundstruktur zu bestimmen. 

Konkreter steckt die Bildinf ormation typischerweise in einer 
Helligkeitsverteilung und ggf . noch in einer Farbverteilung des 
Bildes. Im Folgenden wird der Einfachheit halber lediglich auf 
eine monochrome Verarbeitung Bezug genommen, es ist jedoch 
ersichtlich, dass die Verarbeitung entsprechend auch fur 
verschiedene Farbanteile des Bildes vorgenommen werden kann. 
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Zunachst geht man von dem zweidimensionalen digitalen Bild, 
d.h. einer diskreten Matrix aus Bildpunkten oder Pixeln, welche 
von der Kamera bereitgestellt wird, aus. In der Matrix enthalt 
jeder Bildpunkt zumindest einen Helligkeitswert . Ferner legt 
man die Annahme zugrunde, dass sich die Bildinf ormation in 
einfache Objekte zerlegen lasst, welche durch Linien oder 
Kant en begrenzt sind 7 die durch einen besonders grofien 
Helligkeitsgradienten, haufig auch als Diskontinuitat 
bezeichnet, definiert sind. 

Urn diese Linien oder Kanten zu bestimmen, mussen also zunachst 
diejenigen Bildpunkte bestimmt werden, die an einer Stelle mit 
einem besonders groSen Helligkeitsgradienten liegen. Hierzu 
wird die Bildinf ormation z.B. entlang einer vorbestimmten 
Richtung bezuglich des Helligkeitswertes abgetastet, urn die 
Di skont inui t at auf zuspuren . 

AnschlieEend werden die so gefundenen Diskontinuitatspunkte zu 
einer bestimmten Kante zugeordnet . Die solchermaSen bestimmten 
Grundstrukturen reprasentieren schlieiSlich die gesuchten 
Diskontinuitatskanten, welche eine schematisierte Darstellung 
des Bildinhaltes reprasentieren. Diese Vorgehensweise wird als 
Kantendetektion bezeichnet. 

Ein moglicher Zugang zu diesem Problem ist das Abtasten der 
Helligkeit bzw. das Bestimmen der Helligkeitsf unktion entlang 
einer Richtung. Die Funktion wird anschlieKend dif f erenziert 
und einer Schwellwertbetrachtung unterzogen. Wird der 
Schwellenwert an einer Stelle uberschritten, geht man vom 
Vorliegen einer Kante an dieser Stelle aus. 

Ein solches Verfahren ist aus US-Patentschrif t 4,910,786 
(Eichel) bekannt, welches Intensitats-Kantenpf ade 
f olgendermafien detektiert. 
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Es werden die Gradientenmagnitu.de und -richtung des Bildes in 
einem Gitter aus Knotenpunkten mittels Gauss - 
Gradientenoperatoren bestimmt . Die Entscheidung, ob ein 
Knotenpunkt zu einem Kantenpfad gehort, wird anhand der 
Gradientenmagnitude getroffen. 

Die alleinige Auswertung der Gradientenmagnitude durch einen 
Schwellwertvergleich ist insbesondere deshalb nachteilig, weil 
der Kantenort stark von Rauschen und der lokalen 
Beleuchtungsstarke beeinflusst wird. Die gefundenen 
Konturpunkte mussen aufwendig nachbearbeitet werden, die hierzu 
notwendigen Verfahren schranken im wesentlichen Umfang die 
Echtzeitf ahigkeit ein . 

Daruber hinaus ist bei diesem Verfahren die Auflosung durch die 
Bildmatrix beschrankt, so dass die Auflosung fur viele 
Anwendungsgebiete nicht ausreichend ist. Andererseits ist eine 
starke Verfeinerung der Bildmatrix zur Erhohung der Auflosung 
auch nicht ohne weiteres moglich, da sonst die 
Verarbeitungsdauer explodieren wurde . 

Somit ist das beschriebene Verfahren nachteilig und eignet sich 
insbesondere kaum fur den Einsatz in dem vorstehend 
geschilderten anspruchsvollen Anwendungsbei spiel aus der 
Kraf tfahrzeugproduktion. Aber auch viele andere Anwendungen, 
wie zum Beispiel genaue Kantenvermessungen lassen sich hiermit 
nur beschrankt durchf iihren . 

Ferner sind neuere Verfahren bekannt, bei welchen die Auflosung 
des Kamerabildes durch eine Pixelinterpolation gesteigert wird. 
Diese Verfahren arbeiten j edoch auf Sof twarebasis und sind 
daher zumeist zu langsam, urn bei entsprechend hoher Auflosung 
eine Verarbeitung in Videoecht zeit durchzuf iihren . Ferner sind 
solche Systeme unverhaltnismaSig aufwandig. Des Weiteren sind 
die eingesetzten Prozesse nicht ohne weiteres auf Hardware - 
Losungen ubertragbar. 
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Allgemeine Beschreibung der Erfindung 

Daher ist es eine Aufgabe der vorliegenden Erfindung ein 
Bildverarbeitungssystem bereit zu stellen, welches eine hohe 
Auflosung bei gleichzeitig schneller Verarbeitung 
gewahrleistet , um insbesondere eine Verarbeitung in 
Videoechtzeit zu ermoglichen. 

Eine weitere Aufgabe der Erfindung ist es, ein 

Bildverarbeitungssystem bereit zu stellen, welches eine sichere 
Erkennung der Bildinf ormation, insbesondere eine zuverlassige 
und fehlerarme Kantendetektion und Segmentierung sowie eine 
effiziente Obj ektzuordnung bzw. effiziente Komprimierung der 
Bildinf ormation gewahrleistet. 

Noch eine Aufgabe der Erfindung ist es, ein 
Bildverarbeitungssystem bereit zu stellen, welches 
kostengunstig, insbesondere in Serienproduktion herzustellen 
ist . 

Noch eine weitere Aufgabe der Erfindung ist es, ein 
Bildverarbeitungssystem bereit zu stellen, welches die 
Nachteile bekannter Losungen vermeidet oder zumindest mindert . 

Die Aufgabe der Erfindung wird bereits durch den Gegenstand der 
unabhangigen Anspruche gelost . Vorteilhafte Weiterbildungen der 
Erfindung sind in den Unteranspruchen def iniert . 

Erf indungsgemaS wird ein Bildverarbeitungssystem vorgeschlagen, 
welches insbesondere zum omnidirektionalen Lesen von optischen 
Mustern, z.B. ein- und zweidimensionalen Codes hergerichtet 
ist. Das erf indungsgemaSe Bildverarbeitungssystem ist aber 
sogar geeignet, eine Bilderkennung von komplexen Gegenstanden 
durchzuf uhren . 
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Das Bildverarbeitungssystem umfasst ein bildgebendes System 
z.B. eine CCD-Kamera, einen Scanner oder einen 
Computertomographen etc. zur Bereitstellung eines zunachst 
analogen Bilddatenstroms . Dabei kann der Bilddatenstrom auch 
von einer Mehr- oder Vielzahl von Kameras aufgenommen werden 
(z.B. Stereosysteme, 3D- Verarbeitung, Robot erst euerung, 
Facettenauge) . Der von dem bildgebenden System bereitgestellte 
analoge Bilddatenstrom wird anschlieJSend mittels eines Analog- 
Digital-Umsetzers in digitale Bilddaten, genauer, einen 
digitalen Bilddatenstrom umgesetzt. Vorzugsweise ist noch eine 
Beleuchtungseinrichtung umfasst, urn eine angepasste 
Ausleuchtung des Bildes zu erreichen. 

Der digitale Bilddatenstrom wird weiter von einer digitalen 
Verarbeitungseinrichtung oder -einheit weiterverarbeitet , wobei 
die Verarbeitungseinrichtung einen Pipelineprozessor und eine 
Recheneinrichtung oder einen Mikrorechner unter anderem mit 
Mitteln zur Kantendetektion umfasst. 

Ein Kern des Bildverarbeitungssystems sind mehrere parallel 
und/oder im Zeitmultiplexverf ahren arbeitende Convolver oder 
Faltungsbauelemente, welche Faltungsoperationen an dem 
einlaufenden digitalen Bilddatenstrom durchf (ihren . Hierzu 
werden zunachst Grauwertprof ile aus dem Bilddatenstrom erzeugt 
und gefaltet. Insbesondere wird von den Convolvern eine 
Kreuzkorrelation der Bilddaten durchgef uhrt , wozu ein 
mittelwertf reier Faltungskern verwendet wird. 

Insbesondere durch die parallele Hardware-basierte Verarbeitung 
konnte ein Durchbruch in der Verarbeitungsgeschwindigkeit 
erzielt werden. So ist es mit dem erf indungsgemaSen Verf ahren 
moglich, die Verarbeitung in Videoecht zeit durchzuf uhren . 

Vorzugsweise werden die digitalen Bilddaten mittels der 
Hardware -Convolver zeitlich parallel und/oder im 
Zeitmultiplexverf ahren gefaltet, wobei der Bilddatenstrom ein 
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zumindest zweidimensionales Bild reprasentiert und die 
Convolver in verschiedenen Richtungen zeitlich parallel 
arbeiten . 

Weiter bevorzugt umfasst das Bildverarbeitungssystem fur jede 
Richtung oder Abtastrichtung einen Kantendetektor mit jeweils 
zumindest einem Hardware - Convolver . Diesbeztiglich hat sich eine 
Abtastung in vier jeweils urn 45° Grad gegeneinander gedrehten 
Richtungen als vorteilhaf ter Kompromiss zwischen Hardware- 
Aufwand und Qualitat der Erkennung erwiesen, so dass in diesem 
Fall vier Kantendetektoren umfasst sind und vier zeitlich 
parallel arbeitende separate Convolver vorgesehen sind. 
Insbesondere werden fur jede Abtastrichtung parallel 
Grauwertprof ile erzeugt und kreuzkorreliert , urn deren 
Wendepunkt als Nullstelle der Kreuzkorrelat ion zu bestimmen. 

Vorzugsweise wird weiter in jedem Kantendetektor eine paarweise 
Faltung des einlaufenden Bilddatenstroms durchgef uhrt , wobei 
die beiden Convolver eines Paares in derselben Richtung 
arbeiten. Mit anderen Worten ist fur jede Richtung ein 
Convolverpaar vorgesehen. 

GemaE einem besonders bevorzugten Ausf uhrungsbeispiel besteht 
jedes Grauwertprof il aus n entlang der Abtastrichtung 
benachbarten Pixeln. Dadurch entsteht eine 1 x n Umgebung. 
Weiter wird die paarweise Faltung der ersten n-1 Pixel jedes 
Grauwertprof ils und der letzten oder urn eins verschobenen n-1 
Pixel durchgef uhrt, so dass fur jede n x n Umgebung und fur 
jede Richtung jeweils ein erstes und zweites Faltungsergebnis 
berechnet wird. Es hat sich hierfur als besonders vorteilhaf t 
erwiesen innerhalb einer 6x6 Umgebung zu arbeiten. 

Es wird also der einlaufende digitale Bilddatenstrom in der 
Verarbeitungseinrichtung, welche insbesondere eine 
Vorverarbeitungseinheit ist, in einem ersten Hauptprozess 
mittels der mehreren, insbesondere vier zeitlich parallel 



WO 2005/073911 



8 



PCT/EP2004/000831 



arbeitenden Paare von Convolvern, die in vier jeweils um 45° 
gedrehten Richtungen arbeiten, innerhalb einer n x n, 
insbesondere 6x6 Umgebung gef altet . Diese paarweise 
verschobene Faltung ermoglicht wie nachfolgend erlautert wird, 
vielfaltige Moglichkeiten der Weiterverarbeitung . 

AnschlieJSend werden Konturpunkte erzeugt und mitt els eines 
Entscheider-Bauelements entschieden, ob der jeweilige 
Konturpunkt gultig oder ungultig ist. Die so erzeugte 
Untermenge der giiltigen Konturpunkte wird anschlieSend in eine 
Konturpunkt liste in einen Konturpunkt speicher eingetragen. Es 
wird folglich fur j ede Richtung jeweils eine Konturpunkt liste 
erstellt . 

Die Entscheidung, ob ein Konturpunkt gultig oder ungultig ist, 
wird in diesem Beispiel f olgendermaSen getroffen. Zunachst 
werden mittels der Faltungsergebnisse der Convolver Operanden 
fur eine logische Entscheidung ermittelt. Das 
Bildverarbeitungssystem umfasst ferner zumindest einen 
Entscheider, genauer umfasst jeder Kantendetektor jeweils einen 
Entscheider, welcher in Abhangigkeit der Faltungsergebnisse 
oder Operanden eine logische GroiSe bereitstellt . In 
Abhangigkeit der logischen Grofie wird der Konturpunkt als 
gultig oder ungultig eingestuft und im Falle der Giiltigkeit in 
die Konturpunkt liste eingetragen. 

Die logische Entscheidung, ob ein Konturpunkt als gultig 
eingestuft wird, wird vorzugsweise f olgendermaSen getroffen. 

Die logische GroSe wird von einem booleschen Vektor mit einer 
Mehrzahl von logischen Variablen reprasentiert . Eine erste der 
logischen Variablen B[l] hangt von einem Uberschreiten eines 
Schwellenwertes des Absolutbetrages der Differenz der zu einem 
Convolverpaar gehorenden Faltungsergebnisse ab. Eine zweite der 
logischen Variablen B[2] hangt von einem Vorzeichenunterschied 
der zu einem Convolverpaar gehorenden Faltungsergebnisse ab und 
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eine dritte der logischen Variablen B[4] hangt davon ab, ob 
eines der zu einem Convolverpaar gehorenden Faltungsergebnisse 
gleich null ist. AnschlieEend wird in Abhangigkeit einer 
logischen Verknupfung der ersten, zweiten und/oder dritten 
logischen Variablen die Entscheidung gultig/ungultig getroffen 
und der Konturpunkt in die Konturpunktliste eingetragen. 

Insbesondere wird die logische Verknupfung als boolesche 
Verknupfung B [1] AND {B[2] OR B[4]} gebildet und der 
Konturpunkt in die Konturpunktliste eingetragen, wenn die 
logische Verknupfung WAHR ergibt . 

Mit anderen Worten wird ein Konturpunkt genau dann in die 
Konturpunktliste eingetragen, wenn a) das Faltungsergebnis der 
zu einem Convolverpaar gehorenden Operanden unterschiedliche 
Vorzeichen aufweist und die Differenz der Operanden in der 
vorgegebenen Richtung einen Schwellwert uberschreitet oder wenn 
b) genau ein Operand gleich null ist und die Differenz der 
Operanden in der vorgegebenen Richtung einen Schwellwert 
uberschreitet . 

Die Verwendung der drei vorgenannten logischen Variablen hat 
sich bereits als zuverlassiges Entscheidungskriterium erwiesen. 
Allerdings werden vorzugsweise weitere Variablen zur 
Entscheidung herangezogen, was die Zuverlassigkeit weiter 
erhoht. In der Praxis werden insgesamt sechs boolesche 
Variablen eingesetzt, wobei die ubrigen z.B. von der 
Schwellenwertuberschreitung eines Kontrastwertes und eines 
weiteren Gradienten abhangt . 

Der Kontrastwert wird z.B. als Differenz der Summe der jeweils 
zwei aufieren Pixel der fur die Faltung verwendeten 1x6 
Umgebung ermittelt . Eine andere Moglichkeit zur Definition des 
Kontrastwertes ist z.B. die Differenz der Faltungsergebnisse. 
Der Kontrastwert wird jedoch nicht nur als weiteres 
Entscheidungskriterium fur die Gultigkeit eines Konturpunktes 
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verwendet, sonciern der Konturpunkt wird, sofern er als gultig 
eingestuft wird, zumindest mit dem zu den Werten X-Position, 
Y-Position zugehorigem Kontrastwert in einen Speicher 
eingetragen. Der Kontrastwert wird vorteilhaf ter Weise spater 
noch zur Bestimmung eines Nachbarschaf tskriteriums verwendet. 

Damit ist der erste Hauptprozess abgeschlossen . 

Ein weiterer Aspekt der Erfindung liegt in der Verwendung eines 
Nachbarschaf tsprozessors , welcher die Konturpunkte ausliest und 
verkettet . 

Diese Verkettung ist Teil eines zweiten Hauptprozesses , welcher 
dem ersten Hauptprozess zeitlich nachf olgt . Hierbei werden die 
Konturpunkte (P (X, Y, Kontrastwert ) ) benachbarter Zeilen und/oder 
Spalten von dem Nachbarschaf tsprozessor ausgelesen und 
anschlieSend bei Erfullung eines Nachbarschaf tskriteriums 
verkettet und wiederum in eine Konturpunkt liste eingetragen. 

Insbesondere wird das Nachbarschaf tskriterium als eine Funktion 
des Konturpunktabstandes und/oder der Kontrastwerte der 
benachbarten Konturpunkte bestimmt. Diese Klassif ikation nach 
Abstand und/oder Kontrast bzw. Grauwert hat sich als besonders 
geeignet erwiesen, urn zusammenhangende und getrennte Objekte 
als solche zu erkennen. 

Eine weitere Ausbildung der Erfindung liegt darin begrundet, 
eine Segmentliste als eine urn zumindest eine Segmentnummer 
erganzte Konturpunkt liste zu erstellen. 

Weiter vorzugsweise wird in der Verarbeitungseinrichtung eine 
Objektzuordnung der Konturpunkte durchgef uhrt . 

Hierzu wird in einem dritten Hauptprozess, welcher dem zweiten 
Hauptprozess zeitlich nachf olgt, die Segmentliste durch einen 
Statistikprozessor ausgelesen. Der Statistikprozessor berechnet 
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statistische Momente fur die Objekte, insbesondere statistische 
Momente fur die Objekte jeder Richtung. 

Die statistischen Momente werden bevorzugt bis zur zweiten, 
dritten und/oder vierten Ordnung, insbesondere fur die Objekte 
jeder Richtung berechnet . 

Die gesamte Verarbeitung kann in Videoechtzeit abgearbeitet 
werden, da die Bilddaten als Bilddatenstrom der 
Verarbeitungseinrichtung zugefuhrt werden und die 
Konturpunktliste bereits wahrend des Zufiihrens des 
Bilddatenstroms erzeugt wird. 

Insbesondere wird fur jede Abtastrichtung eine separate 
Konturpunktliste angelegt. Genauer werden die Konturpunktlisten 
in einem oder mehreren Speichern zur Laufzeit des Bildes 
angelegt und beim Wiederauslesen aus dem Konturpunktspeicher 
vor der Verarbeitung durch den Nachbarschaf tsprozessor nach 
Richtungen sortiert und partitioniert abgelegt . (Wie unten 
beschrieben) 

Ein grofier Vorteil des erf indungsgemaSen 

Bildverarbeitungssystems liegt jedoch ferner darin begrundet, 
dass eine Pixelinterpolation zur Reduzierung des 
Digitalisierungsrauschens durchgefiihrt werden kann, so dass 
eine Auflosung erzielt wird, welche besser ist, als die 
Auflosung des von der Kamera bereitgestellten Bildes. Mit 
anderen Worten wird eine Subpixel -Auflosung erzielt und es 
werden die Konturpunkte in der Konturpunktliste mit 
Subpixel auflosung abgespeichert . Dies ist insbesondere mit den 
bekannten S chwe 1 1 enwer tver f ahr en bislang nicht moglich gewesen. 

GemaS einer weiter bevorzugten Aus fuhrungs form der Erfindung 
wird noch zumindest ein Gradient fur jede Abtastrichtung 
berechnet und vorzugsweise in der Konturpunktliste 
abgespeichert . Der oder die Gradienten entsprechen insbesondere 
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einem Kontrastwert in Abtastrichtung und konnen als Mate fur die 
Qualitat des Konturpunktes und als Nachbarschaf tskriterium 
verwendet werden. 

Als ein Entscheidungskriterium fur das Eintragen eines 
Konturpunktes in die zugehorige Konturpunktliste wird ferner 
die Differenz der beiden Faltungsoperationen derselben Richtung 
berechnet, welche in Abtastrichtung urn ein Pixel verschoben 
sind . 

Insbesondere werden zur Laufzeit des Bildes ein Gradient oder 
mehrere Gradienten und die Differenz der beiden 
Faltungsergebnisse in der jeweiligen Filterrichtung berechnet 
und zumindest einer der Gradienten und/oder die besagte 
Differenz als Kontrast innerhalb der Konturpunktliste 
abgespeichert . AnschlieSend wird der Inhalt der 
Konturpunktliste fur jede Richtung in einen ersten Speicher 
kopiert . 

Vorzugsweise ist der erste Speicher bezogen auf die erste 
Verabeitungseinrichtung ein externer Speicher, wobei der Inhalt 
der Konturpunktliste aus der Verarbeitungseinrichtung fur jede 
Richtung und nach jeder Zeile des bildgebenden Systems in den 
ersten Speicher kopiert wird. 

Vorzugsweise wird in der Verarbeitungseinrichtung noch eine 
Segmentierung der Konturpunkte durchgef iihrt . 

Gemafi einer Weiterbildung der Erfindung kopiert hierzu eine 
Schnittstelle oder ein Interface einer Datenspeichereinheit 
nach Bearbeitungsfortschritt des Nachbarschaf tsprozessors die 
aktuelle Zeile der Konturpunktliste getrennt nach Richtungen in 
einen zweiten Speicher, genauer in einen Arbeit sspeicher des 
Nachbarschaf tsprozessors . 
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Bevorzugt stellt der Nachbarschaf tsprozessor anschliefiend mit 
einem Nachbarschaf tskriterium Nachbarschaf ten der Konturpunkte 
fest, segmentiert die Konturpunkte und/oder tragt die 
Segment nummern und Koinzidenzien in eine erweiterte 
Konturpunktliste ein. Das Nachbarschaf tskriterium von 
Konturpunkten wird uber den Ab stand und den Kontrastvergleich 
berechnet. Als AbstandsmaE kann z.B. der Euklidische Abstand 
oder aber ein anderes AbstandsmaS verwendet werden. 

Weiter bevorzugt berechnet ein Statistikprozessor auf Grundlage 
der Konturpunktliste statistische Momente. 

Die somit ermittelten Daten, namlich die Abtastrichtung, die 
statistischen Momente, die GroJSe der Umgebung und der Gradient 
oder Kontrast werden nun uber eine Ausgangsschnittstelle in 
folgendem Ausgabef ormat ausgegeben [Richtung (DIR) , Momente (S) , 
Segmentnummer (SegNo) , Kontrast (CONT) ] . 

Im Folgenden wird die Erf indung anhand von 

Ausfuhrungsbeispielen und unter Bezugnahme auf die Zeichnungen 
naher erlautert, wobei gleiche und ahnliche Elemente teilweise 
mit gleichen Bezugszeichen versehen sind. 



Kurzbeschreibung der Figuren 
Es zeigen: 

Fig. 1 ein Grauwertbild eines zweidimensionalen 

Datamatrixcodes , 
Fig. 2 eine Ausschnittsvergrofeerung aus Fig. 6, 
Fig. 3 eine Auswahl eines Kantenprof ils fur die Richtung 90° 

zur Erzeugung von zwei Grauwertprof ilen zur 

parallelen Faltung, 
Fig. 4 eine grafische Darstellung des Verlaufs der ersten 

Ableitung eines typischen Grauwertprof ils nach dem 

Ort , 
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Fig . 5 



Fig. 6 



Fig. 7 
Fig. 8 
Fig. 9 



eine Darstellung der Langene rwe i t e rung der X- und Y- 
Koordinate fur die Subpixelinterpolation, 
eine grafische Darstellung der Konturpunktliste in 
Richtung 90° , 

die Berechnung der Subpixelgenauen Koordinaten, 

die Datenstruktur der Konturpunktliste 

einen beispielhaf ten Ausschnitt einer hexade zimalen 



Konturpunktliste ("Hexdump") , 
Fig. 10 eine grafische Darstellung der approximierten und 

gefilterten digitalen Strecken, 
Fig. 11 ein Blockschaltbild des erf indungsgemaSen 

Bildverarbeitungssystems , 
Fig. 12 ein Blockschaltbild eines erf indungsgemafien 

Kantendetektors , 
Fig. 13 ein Blockschaltbild eines erf indungsgemaSen 

Entscheiders, 

Fig. 14 ein Blockschaltbild eines Hardware Dividierers, 
Fig. 15 bis 17 die Arbeitsweise des 

Nachbarschaf tsprozessors im Raster, 
Fig. 18 einen Programmablauf plan der Abstandsvektor- und 

Segmentnummerberechnung , 
Fig. 19 ein Blockschaltbild des Nachbarschaf tsprozessors , 
Fig. 2 0 ein Blockschaltbild des Segmentnummerngenerators , 
Fig. 21 eine Hardwareberechnung der Gultigkeit eines 



Fig. 22 eine Darstellung einer Kontur mit vier 

Abtastrichtungen und 
Fig. 23 eine schematische Darstellung des 

Bildverarbeitungssystems mit einem zu erkennenden 

Code auf einem Kfz. 



Konturpunktes in dem Kantendetektor und dem 
Entscheider gemaS Fig. 12 und 13, auf geschlusselt 
nach der Prozessortaktung, 



Detaillierte Beschreibung der Erfindung 
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Das erf indungsgemaSe omnidirektionale Bildverarbeitungssystem 1 
(Fig. 11) oder der Codeleser umfasst ein bildgebendes System 2, 
einen Analog-Digitalumset zer 4, eine digitale 
Verarbeitungseinrichtung 6, eine Recheneinrichtung 8, einen 
nicht gezeigten Mikrorechner und eine optionale 
Beleuchtungseinrichtung 9 (Fig. 23) . 

In dem im Folgenden detailliert beschriebenen 

Ausfiihrungsbeispiel wird die Funktion anhand einer digitalen 
CCD-Matrixkamera 10 erlautert. Diese Kamera 10 reprasentiert 
eine beispielhaf te Ausf uhrungsf orm des bildgebenden Systems 2 
und des Analog-Digitalumsetzers 4 und erzeugt kontinuierlich 
oder getriggert digitale Bilddaten in Form eines digitalen 
Bilddatenstroms 12. Das bildgebende System 2 kann jedoch auch 
ein Scanner, Computertomograph oder ahnliches, z.B. auch eine 
Anordnung von mehreren bildgegebenden Systemen, sein. Die 
Bilddaten sind in einer zweidimensionalen Darstellung in Fig. 1 
als Grauwertbild dargestellt. Fig. 1 zeigt gemafi diesem 
Beispiel einen leicht gedrehten Datamatrixcode 18, der 
decodiert werden soil. 

Erster Hauptprozess 

Erf indungsgemaS wird in einem ersten Hauptprozess oder ersten 
Verarbeitungsschritt in der digitalen Verarbeitungseinrichtung 
oder Vorverarbeitungseinheit 6 in Videoecht zeit eine 
Konturpunktliste 2 0 erzeugt, welche in einer bildlichen 
zweidimensionalen Darstellung in Fig. 6 dargestellt ist. Die 
digitale Verarbeitungseinrichtung 6 ist als Pipelineprozessor 
ausgebildet . 

Fig. 2 zeigt die bildliche Darstellung eines Ausschnitts aus 
der Konturpunktliste nach Fig. 6. 

Die Messgenauigkeit der Konturpunktkoordinaten beeinflusst 
direkt die Approximationsqualitat des dem Code zugrunde 
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liegenden Rasters und damit die Leserate. Der Ort eines 
Konturpunkts 22 ist bestimmt durch die Lage des Wendepunktes 
des Grauwertprof ils , das im Wesentlichen senkrecht zur 
Konturrichtung abgetastet wird. Erf indungsgemaK werden fur 
jeden Bildpunkt die Wendepunkte von 4 Grauwertprof ilen unter 
den Winkeln 0°, 45° , 90° und 135° in Videoecht zeit mit 
Subpixelgenauigkeit berechnet . Der Wendepunkt wird uber die 
Nullstelle der Kreuzkorrelationsf unktion aus dem Grauwertprof il 
in der vorgegebenen Richtung und der normierten ersten 
Ableitung des Grauwertprof ils einer typischen Kante nach dem 
Ort berechnet, Fig. 4. 

Dies wird zunachst am Beispiel der Richtung 90° erlautert. 

Fig. 3 zeigt die Auswahl eines Kantenprof ils fur die Richtung 
90° entsprechend Fig. 2. In einem schnellen RAM ist die lokale 
6x6 Umgebung NBD (Neighbourhood = Nachbarschaf t ) eines Pixels 
als Teilbild gespeichert, innerhalb derer, wie nachstehend 
erlautert ist, gefaltet wird. Hieraus wird pixelsynchron ein 
erstes Grauwertprof il (GP) fur die Richtung 90° mit 

GP90_0 := [NBD [3,1], NBD [3, 2], NBD [3, 3], NBD [3,4] , NBD [3 ,5]] 

und ein zweites urn ein Pixel verschobenes Grauwertprof il 

GP90_1 := [NBD [3 ,2], NBD [3, 3], NBD [3, 4], NBD [3, 5], NBD [3 ,6]] 

erzeugt . 

Fig. 4 zeigt die grafische Darstellung des Verlaufs der ersten 
Ableitung 24 des typischen Grauwertprof ils fur die Richtung 90° 
nach dem Ort. Beispielhaf te Werte fur einen mittelwertf reien 
Faltungskern sind z.B. 

CONV := -5.50 [ -0.971, 0.471, 1, 0,471, -0.971]. 
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Der Faltungskern ist fur die Abtastrichtungen 0° und 90 ° bzw 
fur 45° und 13 5° jeweils gleich, er kann auch fur alle 
Abtastrichtungen gleich sein. Fur die Richtung 90° werden nun 
die beiden zeitlich parallel berechneten Faltungsprodukte F90 
und F9 0_l als: 

5 

F90J) ~ y GP90J) . CONK 
/= i 

= GP90_0 x CONV 

5 

F90J := y GP90J . CONV. 

Z= 1 

= GP9 0_1 x CONV 

berechnet. Diese Berechnung ist als Kreuzkorrelation bekannt 7 
wobei in diesem Beispiel 5-Pixel-Operatoren verwendet werden. 
Hardwareseitig werden hierfur zeitlich parallel oder im 
Zeitmultiplexverf ahren arbeitende Hardware -Convolver zur 
Berechnung der zwei parallelen Faltungsprodukte F90_0 und F90 
eingesetzt, wobei die Berechnung jeweils innerhalb der Dauer 
eines Bildpunktes abgeschlossen ist. 

Ferner werden der Kontrast 

CONT90:= NBD[3,1] + NBD[3,2] - NBD[3,5] - NBD[3,6] 

sowie andere , nachstehend noch erlauterte Funktionen durch 
Hardware berechnet. Unter der Bedingung, dass der Betrag 
abs (CONT90) eine Kontrastschwelle uberschreitet , wird ein 
Listeneintrag des mit dem laufenden Index i versehenen 
Konturpunkts CP[i] in eine hardwaregestiit zte Konturpunktliste 
erzeugt . 

CP[i] 90 := [X, Y, CONT90] 
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Die Koordinaten X unci Y ergeben sich aus den Koordinaten Xi und 
yi desjenigen Bildpunktes, der in der 6x6 Umgebung NBD auf 
das Element NBD [3 ,3] abgebildet wird. 

Im Beispiel wurde die Auflosung der X- , und Y- Koordinate 
gegeniiber dem Originalbild um 2 bit erweitert, d.h. die 
Auflosung in jeder Richtung um den Faktor 4 vergroSert . Diese 
Subpixel interpolation gewahrleistet eine verbesserte 
Konturqualitat auch in gestorten Umgebungen, da erstens nur 
lokale Schwellwerte verwendet werden und zweitens eine 
weitgehende Lageinvarianz des Konturpunkts im 
Tief enscharf ebereich des Objektivs besteht . 

Fig. 5 zeigt die Darstellung der Auf losungserweiterung der X- 
und Y-Koordinate fur die Subpixelinterpolation . 

Fig. 6 zeigt eine grafische Darstellung der Konturpunktliste 2 0 
in Richtung 90° . 

In gleicher Weise wie fur die Richtung 90°, werden die 
Konturpunktlisten der Richtungen 0°, 45° und 135° berechnet, 
wobei im Folgenden x fur die Richtung steht . Die entsprechenden 
Grauwertprof ile GPx__k, Faltungsprodukte Fx_k, Kontraste CONTx 
und Konturpunktlisten CP[i]_x mit k = 0,1 und x = 0, 45, 135 
sind entsprechend Fig. 3 definiert als: 



GP0_0 

GP0_1 

F0_0 

F0_1 

CONT0 

CP[i] 



0 



= [NBD [1,3] , NBD[2,3], NBD [3,3], NBD[4,3], NBD [5,3]] 

= [NBD[2,3], NBD [3 ,3], NBD[4,3], NBD [5,3], NBD[6,3]] 

= GP0_0 x CONV 

= GP0_1 x CONV 

= NBD [1,3] + NBD [2,3] - NBD [5,3] - NBD [6, 3] 

= [X, Y, CONT0] 



GP4 5_0 
GP45_1 
F45 0 



[NBD [2, 5], NBD [3, 4], NBD [4, 3], NBD [5, 2], NBD [6,1]] 
[NBD [1,6], NBD [2, 5], NBD [3 ,4], NBD [4, 3], NBD [5,2]] 



= GP4 5 0 x CONV 
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F45_l 
CONT4 5 
CP[i] 45 



= GP4 5__1 x CONV 

= NBD [6,1] + NBD [5, 2] - NBD [2,5] 
= [X, Y, CONT45] 



NBD [1, 6] 



GP135_0 
GP135_1 
F135_0 
F135 1 



CONT13 5 



= [NBD [1,1], NBD [2 ,2], NBD [3 ,3], NBD [4, 4], NBD [5,5]] 
= [NBD [2, 2], NBD [3, 3], NBD [4 ,4], NBD [5, 5], NBD [6,6]] 
= GP13 5 0 x CONV 



= GP13 5_1 x CONV 

= NBD [1,1] + NBD [2, 2] - NBD [5, 5] - NBD [6, 6] 
CP[i] 135 := [X, Y, CONT135] 



Es werden also fur jede Richtung x = 0, 45, 90, 135 jeweils ein 
Paar von Grauwertprofilen GPx__0 , und GPx_l sowie mittels je 
eines Paares von zeitlich parallel oder im 

Zeitmultiplexverf ahren arbeitenden Convolvern je ein Paar von 
Faltungsprodukten Fx_0 und Fx_l berechnet . 

Die so berechneten Listen werden geordnet in einem RAM so 
abgespeichert , dass die Konturpunkte in nach ihren Indizes i 
geordneter Reihenfolge zeilenweise gespeichert werden. 

Der oben beschriebene Algorithmus wird in der 
Verarbeitungseinrichtung 6 in Echtzeit, bezogen auf den 
einlaufenden Bilddatenstrom, durch Hardware wie folgt 
umgesetzt . 

Bezug nehmend auf Fig. 11 ist der Aufbau der 

Verarbeitungseinrichtung 6 in einem Blockschaltbild gezeigt. 
Die digitale Verarbeitungseinrichtung 6 oder 

Vorverarbeitungseinheit umfasst eine Datenschnittstelle 32, 
eine Speicherschnittstelle 34, zwolf Register RG1 bis RG12 
sowie eine Recheneinrichtung 8. Nicht gezeigt ist ein digitaler 
Mikrorechner , z.B. ein DSP oder anderer standardisierter 
Rechner, der auf die Datenspeichereinheit 3 6 zugreifen kann. 
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Die Recheneinrichtung 8 wiederum umfasst eine Register Matrix 
48, eine Mehrzahl von n Kantendetektoren EDU1 bis EDUn und 
einen Nachbarschaf tsprozessor 90. An die 
Verarbeitungseinrichtung 6 ist mittels der 

Speicherschnittstelle 34 eine Datenspeichereinrichtung 36 
angeschlossen . 

Die Bilddaten der Bildauf nahmeeinheit 10 (Image Aquisition 
Unit, IAU) werden in Echtzeit an die Datenschnittstelle 32 (IAU 
Interface) der Vorve r arbe i t ungs e i nhe i t 6 ubertragen. Die 
Datenschnittstelle 32 ist mit der Speicherschnittstelle 34 (DSU 
Interface) zu der externen Datenspeichereinheit 3 6 (Data 
Storage Unit, DSU) verbunden und in der Lage, wahrend der 
Ubertragungszeit eines Pixels mehrere, typischerweise acht 
Schreib/Lesezugrif f e auf den RAM durchzuf uhren . Die 
Datenspeichereinheit 3 6 umfasst bzw. besteht aus den Modulen 
Bildspeicher 38 (Frame/Field Memory) , Zeilenspeicher 40 (Line 
Memory) , Konturpunktspeicher 42 (Contour Point Memory) , 
Segment speicher 44 (Segment Memory) und Hauptspeicher 4 6 
(General Purpose Memory) . Die Module 3 8 bis 4 6 konnen in einem 
einheitlichen Speicher mit groEer Datenrate oder auch in 
mehreren unterschiedlich schnellen Speichern realisiert werden. 

Eine giinstige Speicherarchitektur umfasst oder besteht aus drei 
unabhangigen schnellen 16 bit Speichermodulen, davon einem 
dynamischen Speicher Ml (DRAM) und zwei statischen Speichern M2 
und M3 (SRAM) . Die Zuordnung der logischen Speicher zu den 
physikalischen Speichern ist in Tabelle 1 beschrieben. Mit 
dieser Architektur wird eine Datenrate von der 48-fachen 
Pixelrate erreicht. Die Bilddaten und Konturpunkt listen stellen 
jeweils groSere Matrizen dar und werden blockweise in der 
Speicherschnittstelle 34 formatiert und in den dynamischen 
Speicher Ml in Echtzeit abgelegt . 

Tabelle 1: 



WO 2005/073911 


21 


PCT/EP2004/000831 


Logischer Speicher 


Physikalischer 
Speicher 


Bezeichnung 


Bildspeicher 38 


DRAM 


Ml 


Zeilenspeicher 40 


SRAM 


M2 


Kont urpunkt spe i cher 4 2 


DRAM 


Ml 


Segment speicher 44 


SRAM 


M3 


Haupt speicher 46 


SRAM 


M3 



Ferner wird im Zeilenspeicher M2 40 ebenfalls der aktuelle 
Bilddatenstrom gespeichert, hier jedoch nur mit einer 
reduzierten Tiefe von 6 Zeilen. Die Speicherschnittstelle 34 
liest aus dem Zeilenspeicher 40 eine Matrix von 2x5 Pixeln 
und schreibt das aktuelle und das vorhergehende Pixel als 16 
bit Wort in den Zeilenspeicher 40. Dabei entsteht ein 
Datenstrom, der zwei Spalten der Bildmatrix mit einer Lange von 
6 Pixeln enthalt und in den Registern RG1 bis RG12 gespeichert 
wird. AnschlieSend wird der Inhalt dieses Registers mit zwei 
Takten zeilenweise in die Register-Matrix MBD 6x6 48 geschoben. 
Die Register-Matrix 48 enthalt ferner eine als Puf f erspeicher 
benotigte, jedoch nicht gezeigte Spalte. 

Die Register-Matrix 4 8 ist mit den n Kantendetektoren EDU1 bis 
EDUn (Edge Detection Unit) verbunden, wobei jeder 
Kantendetektor einer spezifischen Abtastrichtung zugeordnet 
ist. In dem hier beschriebenen Beispiel wird entlang von vier 
Richtungen abgetastet, so dass n = 4 ist. 

Die Register-Matrix 48 kann im strukturell einfachsten Fall 
durch 42 Register dargestellt werden. Ebenso sind 
Realisierungen mit schnellen internen SRAM' s moglich. 

Aus der Register-Matrix 4 8 konnen direkt die 

Subpixelkoordinaten von Konturpunkten bestimmt werden. Hierzu 
werden zunachst fur die Kantendetektoren EDU1 bis EDU4 mit der 
Richtung 0°, 45° , 90° , 13 5° die zugehorigen Grauwertprof ile 
GP0, GP45, GP9 0, GP13 5 entnommen. 
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Die Grauwertprof ile sind als: 

GP0:= [NBD [1,3] ,NBD[2,3] , NBD [3,3] ,NBD[4,3] , NBD [5,3] ,NBD[6,3] ] 

GP45:= [NBD [1,6] ,NBD[2,5] , NBD [3,4] ,NBD[4,3] ,NBD[5,2] , NBD [6,1]] 

GP90:= [NBD [3,1] , NBD [3,2] ,NBD[3,3] ,NBD[3,4] ,NBD[3,5] ,NBD[3,6] ] 

GP135:=[NBD[1,1] ,NBD[2,2] ,NBD[3,3] ,NBD[4,4] ,NBD[5,5] ,NBD[6,6]] 

definiert. NBD steht hierbei fur Neighbourhood oder 
Nachbarschaf t , wie dem Fachmarm bekannt ist. Die allgemeine 
Struktur jedes Grauwertprof ils ist somit : 

GP := [PI, P2, P3, P4, P5, P6] 

und umfasst also die Grauwerte von jeweils 6 Pixeln PI bis P6 . 

Bezug nehmend auf Fig. 12 ist einer der vier parallel 
arbeitenden identischen Kantendetektoren im Detail dargestellt. 

Die Pixel PI bis P6 werden aus der Register-Matrix 48- an den 
NBD Multiplexer 52 weitergegeben, wobei die sechs Pixel fest 
mit den Eingangen eines NBD-Multiplexers 52 des Kantendetektors 
der jeweiligen Richtung, hier EDU1 verbunden sind. 

Die Berechnung wird von dem Kantendetektor EDU1 mithilfe eines 
Pipelineprozessors durchgef uhrt . Es wird der Datenstrom in dem 
Kantendetektor also unverzweigt verarbeitet, wobei die 
Verarbeitung bei der verwendeten 6x6 Umgebung naturgemaS urn 6 
Pixel verzogert beginnt, vom Ablauf her aber in Videoechtzeit 
durchgef uhrt wird. 

Der Kantendetektor EDU1 umfasst zumindest ein Hardware- 
Convolver- Paar 54, welches mit Ausgangen Outl bis Out3 des NBD 
Multiplexer 52 verbunden ist und welches die 
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Faltungsoperationen im Datenstrom jeweils parallel fur PI bis 
P5 und P2 bis P6 durchf uhrt . 

Die beiden paarweisen Faltungsprodukte einer Richtung Fx_0 und 
Fx_l (Convolution Results) werden dabei innerhalb eines 
Pixeltaktes und "on the fly" aus den Daten PI bis P5 bzw. P2 
bis P6 in den Datenpipelines DPI und DP2 , genauer in dem 
Convolverpaar 54 wie f olgt berechnet . 

Bezug nehmend auf Fig. 21 ist die Taktung des dem 
Kantendetektor EDU1 zugrunde liegenden Pipelineprozessors 
dargestellt . 

In den Takten ClockO bis Clock3 werden die Daten PI bis P6 aus 
dem NBD Multiplexer 52 in ein erstes Addierglied Addl des 
Convolverspaars 54 eingelesen, wobei das erste Addierglied Addl 
fest mit den Ausgangen Outl und Out2 verbunden ist. Weiter 
werden in den Takten Clockl bis Clock4 die Grauwerte der urn den 
Symmetriepunkt des Faltungskerns 24 paarweise symmetrischen 
Pixel, d.h. P2 und P4 , PI und P5 fur Fx_0 sowie P3 und P5, P2 
und P6 fur Fx__l, in dem ersten Addierglied Addl zu ersten 
Zwischenergebnissen P2+P4, P1+P5, P3+P5 sowie P2+P6 addiert . 

In den Takten Clock2 bis Clock5 werden die ersten 
Zwischenergebnisse in einem ersten Multiplizierer Multl mit den 
zugehorigen Werten des Faltungskerns 24, namlich CONV[l] und 
C0NV[2] multipliziert und in den Takten Clock4 und Clock6 in 
einem zweiten Addierglied Accl weiter auf addiert . 

In der parallelen Datenpipeline DP2 , welche mit dem Ausgang 
Out3 des NBD Multiplexers 52 fest verbunden ist, werden die 
Daten P3 und P4 in den Takten ClockO bis Clock3 entsprechend 
eingelesen und in den Takten Clock4 bis Clock7 mit einem 
zweiten Multiplizierer Mult2 mit dem Symmetriepunkt CONV[3] des 
Faltungskerns 24 multipliziert. 
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Wieder bezug nehmend auf Fig. 12 werden abschlieSend in einem 
weiteren Addierer 5 5 die Faltungsergebnisse Fx__0 und Fx_l 
mittels Addition der aus den Datenpipelines DPI und DP2 
gewonnenen Resultate berechnet (Taktung nicht in Fig. 21 
dargestellt) . 

Man erhalt also am Ausgang 56 des Convolverpaars 54, bzw. am 
Ausgang der Datenpipelines DPI und DP2 die Faltungsprodukte 
Fx_0 und Fx__l (Convolution Results) aus dem Convolverpaar . 

Diese Berechnungsweise der Faltungsergebnisse ist durch die 
Symmetrie des Faltungskerns 24 ermoglicht und vereinfacht die 
Berechnung gegenuber einer jeweils funffachen Multiplikation. 

Es ist fur den Fachmann ersichtlich, dass die vorstehend 
beschriebene paarweise Berechnung der beiden Faltungsergebnisse 
Fx 0 und Fx__l in dem Pipelineprozessor des Kantendetektors 
EDU1, welche im Sinne dieser Beschreibung als Berechnung 
mittels eines Convolverpaars bezeichnet ist, nur eine 
beispielhaf te Aus fuhrungs form darstellt. 

Parallel zur Berechnung der Faltungsprodukte Fx_0 und Fx_l 
werden innerhalb desselben Kantendetektors EDU1 entlang des 
Grauwertprof ils in der Datenpipeline DP3 , welche ebenfalls 
ausgangseitig an den NBD Multiplexer 52 angeschlossen ist, 
genauer mit dessen Ausgangen Out4 und 0ut5 verbunden ist, zwei 
Gradienten Grad_l und Grad_2 als: 

Grad_l : = PI + P2 - P5 - P6 und 
Grad_2 : = P3 - P4 

berechnet und am Gradientenausgang 58 bereitgestellt . 

Der Gradient Grad_l entspricht dem Kontrast und der Gradient 
Grad 2 dient zur Artef aktunterdruckung . Beide Gradienten werden 
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nachfolgend in einem Entscheider 60 einem Schwellwertest mit 
programmierbarer Schwelle Grad_l Threshold bzw. Grad_2 
Threshold unterzogen. Die Taktung dieser Berechnung ist 
ebenfalls in Fig. 21 dargestellt. 

Der Entscheider 60 bzw. der Entscheidungsprozess ist im Detail 
in Fig. 13 dargestellt. 

Der Entscheider 60 (Decision Unit) synchronisiert die 
Eingangsdaten und erzeugt fur jeden Bildpunkt eine logische 
GroiSe in Form eines Booleschen Vektors B [k] , 
mit k = 1, 2, 3, 4, 5, 6 : 



B [1] 


= 1 


wenn 


abs (Fx_0 - 


Fx_ 




Fx_Thr e sho 1 d 


sonst 


B[l] 


= 0; 


B [2] 


= 1 


wenn 


Fx_0 * Fx_l 


< 


0 




sonst 


B[2] 


= 0; 


B [3] 


= 1 


wenn 


Fx_l <> 0 








sonst 


B[3] 


= 0; 


B [4] 


= 1 


wenn 


Fx_0 = 0 








sonst 


B[4] 


= 0; 


B [5] 


= 1 


wenn 


abs (Grad_l) 


> 


Grad_ 


_1 Threshold 


sonst 


B[5] 


= 0; 


B [6] 


= 1 


wenn 


abs (Grad__2) 


> 


Grad_ 


_2 Threshold 


sonst 


B[6] 


= 0; 



Somit hangt das Ergebnis des booleschen Vektors von den 
Faltungsergebnissen, genauer von insgesamt sechs Operanden ab, 
welche aus den Grauwertprof ilen bzw. den Faltungsergebnissen 
berechnet werden. 

Mit anderen Worten hangt also die logische Variable B [1] davon 
ab, ob der Absolutbetrag der Differenz der Faltungsprodukte 
Fx_0 und Fx__l eines Convolver- Paares 54 die Schwelle 
Fx_Threshold uberschreitet . Ferner hangt die logische Variable 
B[2] davon ab, ob ein Vorzeichenwechsel zwischen den beiden zu 
einem Convolverpaar 54 gehorenden Faltungsergebnisse Fx_0 und 
Fx_l stattfindet. Weiter hangen die logischen Variablen B[3] 
und B[4] davon ab, ob das Faltungsergebnis Fx__l ungleich null 
und das Faltungsergebnis Fx_0 gleich null ist. 
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Hierzu umfasst der Entscheider 60 eingangsseitig einen 
Demultiplexer 62, welcher die Faltungsergebnisse Fx_0 und Fx_l 
in zwei getrennte Register RG Fx_0 bzw. RG Fx_l weiterleitet . 
Von dort werden die Ergebnisse an einen Subtrahierer 64 und 
eine logische Einheit 66 sowie einen Komparator 67 mit 
betragsbildendem Eingang weitergeleitet , urn die Werte B[l] bis 
B[4] zu bestimmen. 

Die Variablen B[5] und B[6] testen das Uberschreiten der 
Schwellenwerte Grad_l Threshold und Grad_2 Threshold der 
Gradienten Grad_l bzw. Grad_2 mittels eines Komparators 68. 

Mit diesem booleschen Vektor B [k] wird das Ergebnis, bzw. die 
Bedingung Konturpunkt gultig/ungultig (Contour_Point_valid = 1 
{WAHR} / 0 {FALSCH}) berechnet, und zwar als boolesche 
Verknupf ung : 

Contour__Point_valid = 

B[l] AND (B[2] OR (B [3] AND B [4] ) ) AND B [5] AND B [6] 

Der entsprechende Konturpunkt wird dann und nur dann in die 
Konturpunktliste eingetragen, wenn das vollstandige 
Gultigkeitskriterium Contour_Point_valid 70 WAHR ist . 

Es sind jedoch auch vereinfachte Gultigkeitskriterien, wie z.B. 
B[l] AND {B[2] OR B[3]} moglich, wovon das vorstehend 
erlauterte Gultigkeitskriterium Contour_JPoint_valid eine 
Untermenge darstellt . 

Bezug nehmend auf die Fig. 7 und Fig. 14 wird ferner wie folgt 
eine Subpixelinterpolation durchgef uhrt . Aus den Werten Fx_0 
und Fx 1 werden die Koordinaten des Konturpunkts entlang der 
Abtastlinie mit Subpixelgenauigkeit ermittelt: 

A5 := abs (Fx 0 / (Fx_0 - Fx_l ) ) 
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A8 wird nur mit einer geringen Wortbreite benotigt, 
z.B. 2 bit. Dies entspricht einer 2 2 = 4-fachen 
Subpixelinterpolation. Deshalb kann ein einfacher schneller 
Hardwaredividierer 8 0 eingesetzt werden. Eine 2 -f ache oder mehr 
als 4-fache Subpixelinterpolation ist jedoch auch moglich. 

Der Dividierer 80, welcher im Detail in Fig. 14 dargestellt 
ist, arbeitet auf einfache Weise sequent iell, in dem die 
Differenz Fx__0 - Fx — 1 im Nenner so lange in einem Addierglied 
82 akkumuliert wird, bis der 4-fache Wert des Zahlers in einem 
Multiplizierglied 84 erreicht wird. 

AnschlieSend wird der Wert A8 in den Tabellen LUT1 und LUT2 in 
das hochaufgeloste kartesische Koordinatensystem transf ormiert . 
Hierbei werden Offsets durch das digitale Raster 
berucksichtigt . 

Die subpixelgenauen Koordinaten werden nach der in Fig. 7 
dargestellten Tabelle berechnet und in die vorstehend 
beschriebene Konturpunktliste mit den Elementen CP [i] 
eingetragen : 

CP[i] := [X[i] , Y[i] , CONT] 

und an einen FIFO innerhalb der Speicherschnittstelle 34 
ausgegeben und schlieSlich blockweise in den Speicher Ml 
geschrieben. Dabei entsprechen die Werte x± und y± den 
Koordinaten des Bildpunktes, der in der 6x6 Umgebung NBD auf 
das Element NBD [3 ,3] abgebildet wird, unter Beachtung der 
Transformation in das hochaufgeloste kartesische 
Koordinatensystem. Die Konturpunktliste 20 wird zeilenweise 
geordnet abgespeichert , deshalb geniigt hier ein auf 
typischerweise 32 bit verkurztes Format, in dem von der Y- 
Koordinate nur der Low-Teil abgespeichert wird. 
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Wieder Bezug nehmend auf Fig. 11 ist fur jede Richtung ein 
separater Kantendetektor (Edge Detection Unit) EDU1 bis EDUn 
vorhanden. Am Ausgang jedes Kantendetektors entstehen 
Datensatze, die an die Speicherschnittstelle 34 ubertragen 
werden. Die Speicherschnittstelle 34 puffert die zu einer 
Richtung gehorenden Datensatze DS1 bis DSn und speichert die 
Datensatze DS1 bis DSn in f ortlauf ender Reihenfolge nach dem 
FIFO-Prinzip im Speicher Ml ab. Falls ein Wechsel der 
Zeilenadresse auftritt, fiigt die Speicherschnittstelle 34 einen 
Datensatz, der den Zeilenwechsel markiert, hinzu, ebenso ein 
Endekennzeichen nach Bildende. 

Mit dem Speichern der Konturpunktliste 2 0 im Speicher Ml ist 
der erste Schritt oder Hauptprozess der Konturpunktgenerierung 
abgeschlossen . 

Zweiter Hauptprozess 

In einem zweiten Hauptprozess, welcher dem ersten Hauptprozess 
zeitlich nachfolgt, werden nun die Konturpunkt listen 
zeilenweise in den Speicher M3 geladen. Bezug nehmend auf 
Fig. 8, expandiert die Speicherschnittstelle 34 beim Lesen der 
Information die Daten der Konturpunktliste CP[i] auf die nun 
benotigte vollstandige Strukturbreite . Der Speicher M3 ist als 
Ringpuffer mit einer typischen Speichertief e von 4 Zeilen 
organisiert und besitzt 4 unabhangige Puffer fur die Richtungen 
0°, 45° , 90° und 135°. Jeweils nach Erkennen einer 
Zeilenendemarkierung stoppt der Schreibvorgang, und es wird der 
Nachbarschaf tsprozessor 90 gestartet. 

Die aktuelle, zuletzt eingeschriebene Zeile wird in den 
Nachbarschaf tsprozessor 90 gelesen. Im Gegensatz zu gewohnlich 
verwendeten, im Raster arbeitenden Nachbarschaf tsprozessoren, 
werden erf indungsgemafS Listendaten im Subpixel format 
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verarbeitet. Die Nachbarschaf t kann in Abhangigkeit von der zu 
losenden Aufgabe flexibel definiert werden. 

Eine gute Allgemeingultigkeit wird mit einem aus dem 
vereinf achten Abstand der Konturpunkte und den Kontrastwerten 
CONTi und CONT 2 gebildeten Nachbarschaf tskriterium NC erreicht 
(vgl . Fig . 19) : 

5 Dist = max( abs ( yl - y2 ) , abs ( xl - x2 ) ) 
8 Cont - CONTx * CONT 2 

Zwei Konturpunkte sind benachbart, wenn das 
Nachbarschaf tskriterium NC : 

NC : = (8 Dist < Dist__Threshold) AND (5 Cont > 0) 
erfullt ist. 

Da wegen der Realisierung des Nachbarschaf tsprozessors 

abs ( yl - y2 ) < 1 und Dist_Threshold > 1 gilt, vereinf acht 

sich das AbstandsmaE zu 

8 Dist = abs ( xl - x2 ) 

Durch die Einfugung des Kontrastschwellwerts wird die 
Vereinigung von Konturen unterschiedlicher Auspragung 
verhindert bzw. erschwert . Naturlich kann statt des 
vereinf achten Abstandes auch ein anderes AbstandsmaS, z.B. der 
Euklidische Abstand, verwendet werden. 

Bezug nehmend auf die Fig. 15 bis 17 werden die 
Nachbarschaf tsbeziehungen von Konturpunkten 22 in diesem 
Beispiel wie folgt bestimmt . 
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Nach erfolgreichem Abspeichern samtlicher Konturpunkte 22 der 
letzten vollstandig iibertragenen Zeile mit dem Index j in den 
Ringpuffer des Speichers M3 wird die Nachbarschaf t untersucht . 
Dazu werden in der ersten zu untersuchenden Richtung zunachst 
ein Pointer CurPtr auf den ersten Konturpunkt der aktuellen 
Zeile j und ein Pointer AboveStartPtr und ein Pointer AbovePtr 
auf den ersten Konturpunkt der Zeile j-1 gestellt und die 
adressierten Konturpunkte in den Nachbarschaf tsprozessor 90 
eingelesen. Der Nachbarschaf tsprozessor 9 0 segment iert in 
Abhangigkeit des Nachbarschaf tskriteriums NC Konturpunkte und 
tragt bei f estgestellter Nachbarschaf t fur benachbarte Elemente 
gleiche Segmentnummern ein. Falls ein Konturpunkt keine 
Nachbarn mit bereits vergebenen Segmentnummern hat, erfolgt die 
Vergabe einer neuen Segmentnummer . Falls festgestellt wird, 
dass ein einzelner Konturpunkt Segmente mit unterschiedlicher 
Segmentnummer verbindet, erfolgt die Eintragung in eine 
Koinzidenzliste . 

Die Fig. 15, 16 und 17 zeigen die Arbeitsweise des 
Nachbarschaf tsprozessors 90 im Raster. Die Punkte Pll, P12 etc. 
der vorangegangenen Above-Zeile j-1 sowie die Punkte P21, P22 
etc. der aktuellen Current -Zeile j enthalten die jeweiligen 
Konturpunkt adres sen mit Subpixelgenauigkeit , den Kontrastwert 
CONT sowie die Segmentnummer SegNo . 

Fig. 15 zeigt den Start zustand . Der Pointer AboveStartPtr 
verweist hierin auf Pll, der Pointer CurPtr auf P21, der 
Pointer OldCurPtr ist ungiiltig. 

Fig. 16 zeigt den Status beim Ubergang zum nachsten zu 
verarbeitenden Punkt P22 . Der Pointer CurPtr verweist jetzt auf 
P22, der Pointer OldCurPtr auf P21 und der Pointer 
AboveStartPtr wird (iterativ) auf P12 verschoben. 

Fig. 17 zeigt, welche Punkte beim Testen auf Nachbarschaf t mit 
der daruber liegenden Zeile untersucht werden: 
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Der Pointer oder Zeiger AbovePtr wird mit dem Wert von 
AboveStartPtr initialisiert und lauft dann uber P12 , P13 und 
P14 . 

Die Hardwarerealisierung des Prozesses der 

Nachbarschaf tsuntersuchung folgt dem Programmablauf plan nach 
Fig. 18 und wird mit der Struktur nach Fig. 19 berechnet . 

Zuerst wird der laufende zu verarbeitende Konturpunkt gelesen 
(Read current contour point record, RCCP) , dieser entspricht 
dem oben beschriebenen CurPtr. 

Danach wird uberpruft, ob der OldCurPtr gultig ist. Falls ja, 
werden OldCurPtr und CurPtr auf Nachbarschaf t untersucht (Check 
neighbourhood criteria for CurPtr/OldCurPtr , CNCO) . Ist das 
Nachbarschaf tskriterium NC erfullt, wird CurPtr dem Segment von 
OldCurPtr zugeordnet, d.h. es wird die Segment nummer des 
laufenden Konturpunkts aktualisiert (Update segment number of 
current contour point, USC) . 

Danach wird mit der Uberprufung der Nachbarschaf t zu Punkten in 
der daruber liegenden Zeile fortgesetzt (aus Grunden der 
Ubersichtlichkeit nicht im Ablaufplan eingezeichnet ) . Dies 
erfolgt ebenfalls, wenn OldCurPtr ungultig ist oder OldCurPtr 
und CurPtr nicht benachbart sind. Dabei wird zuerst AbovePtr 
aus dem aktuellen AboveStartPtr initialisiert (aus Grunden der 
Ubersichtlichkeit nicht im Ablaufplan eingezeichnet) . 

Danach erfolgt eine Iteration mit diesem Zeiger oder Pointer: 
Solange dieser gultig ist (AbovePtr valid, APV) , wird CurPtr 
mit diesem auf Nachbarschaf t untersucht (check neighbourhood 
criteria for CurPtr /AbovePtr, CNCA) . Sind sie benachbart, so 
wird CurPtr dem Segment von AbovePtr zugeordnet (USC) . Danach 
wird die Iteration uber AbovePtr fortgesetzt, wenn noch nicht 
alle Nachbarschaf tskandidaten untersucht wurden (aus Grunden 
der Ubersichtlichkeit nicht im Ablaufplan eingezeichnet) . Sind 
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CurPtr und AbovePtr nicht benachbart, wird die Iteration 
einfach durch Inkrementieren von AbovePtr (Increment Above 
Pointer, IAP) fortgesetzt. 

Hat CurPtr nach Ende der Iteration von AbovePtr noch keine 
Segment nummer erhalten, wird eine neue Segment nummer erzeugt 
und ihm zugeordnet (Create new segment number for current 
contour point, NSC) . Abschliefiend wird der alte CurPtr in 
OldCurPtr gespeichert und CurPtr inkrementiert (Increment 
current pointer and update OldCurent pointer, I CP) . Damit 
erfolgt der Ubergang zum nachsten zu verarbeitenden Konturpunkt 
und der gesamte Ablauf wird wiederholt, bis alle Konturpunkte 
verarbei tet wurden . 

Die zwei Teilprozesse USC und APV werden nachfolgend noch naher 
erlautert : 

- USC: Beim Zuordnen des CurPtr zu einem Segment konnen zwei 
Falle auftreten: 

1. CurPtr hat noch keine Segmentnummer . In diesem Fall 
wird fur CurPtr die Segmentnummer des Segments, dem der 
Punkt zugeordnet werden soil, ubernommen. 

2. CurPtr hat bereits eine Segmentnummer. In diesem Fall 
kann die Segmentnummer nicht ubernommen werden. Dann wird 
statt dessen in CurPtr eine Koinzidenzinf ormation 
eingetragen, die besagt, das dieser Punkt mit dem Segment, 
dem er zugeordnet werden sollte, benachbart ist. 

- APV: Die Entscheidung, ob AbovePtr noch giiltig ist, 
umfasst mehrere Kriterien: Erstens muss der Punkt noch zu 
der Zeile uber CurPtr gehoren. Zweitens muss er auf Grund 
seiner raumlichen Lage noch als Nachbarschaf tskandidat in 
Frage kommen (Kriterium siehe oben) . Durch die Art der 
Iteration (Beginn bei dem von links gesehen ersten 
Kandidaten und Iteration nach rechts) ist sichergestellt , 



WO 2005/073911 



33 



PCT/EP2004/000831 



dass AbovePtr alle unci nur die in Frage kommenden Punkte 
uberstreicht . 

Bezug nehmend auf Fig. 8 wird ein einzelner Konturpunkt, 
umfassend oder bestehend aus Filterrichtung, Koordinaten, 
KontrastmaE; Segment numme r und Koinzidenzinf ormation, in einer 
64 Bit groSen Datenstruktur der Konturpunkt liste CP__long 
gespeichert. Die in Fig. 8 dargestellte Aufteilung der Bits auf 
die einzelnen Daten ermoglicht eine hohe Speicheref f izienz . 

Alle entstandenen Konturpunkte aus alien Filterrichtungen 
werden in einer gemeinsamen kontinuierlichen Liste im Speicher 
abgelegt. Dabei wird eine Ordnungsstruktur eingehalten, die 
durch die Koordinaten der Konturpunkte und die Filterrichtung, 
durch die der Konturpunkt erzeugt wurde, definiert ist. Die 
Punkte werden beginnend mit der linken oberen Ecke des Bildes 
pixelzeilenweise jeweils von links nach rechts abgelegt, wobei 
Konturpunkte mit gleichen Pixelkoordinaten nach 
Filterrichtungen getrennt gespeichert werden. 

Ein Punkt A steht dabei vor einem Punkt B im Speicher genau 
dann, wenn gilt: int(A.Y) < int(B.Y) oder (int(A.Y) = int(B.Y) 
und (int(A.X) < int(B.X) oder (int(A.X) = int(B.X) und A.DIR < 
B .DIR.) ) )~, wobei A.X bzw. A.Y die X- bzw. Y-Koordinate des 
Punktes A, int() den ganzen Pixelanteil ohne Subpixelanteil und 
A.DIR bzw. B.DIR die Filterrichtung bezeichnen. Das Ende der 
Liste wird durch einen Eintrag, bei dem alle Bits auf 0 gesetzt 
sind, markiert . 

Ein Beispiel einer hexadezimalen Konturpunkt liste CP_long, 
dargestellt als sogenannter "Hexdump" mit zwei Konturpunkten 
pro Zeile ist in Fig. 9 gezeigt. 

Die so ermittelte Segmentnummer und die Koinzidenzinf ormation 
werden ebenfalls in die Datenstruktur CP__long geschrieben. Wenn 
die Segment nummern einer kompletten Zeile bestimmt wurden, wird 
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die betreffende Zeile uber die Speicherschnittstelle 34 in den 
Speicher Ml geschrieben. Hiermit ist der zweite Hauptprozess 
der Segmentierung beendet . 

Hardwareseitig umfasst der in Fig. 19 im Detail dargestellte 
Nachbarschaf tsprozessor 90 zwei Register RG CurPtr und RG 
OldCurPtr in die die entsprechenden Konturpunkte aus dem 
Zeilenspeicher 40 eingeschrieben werden. Diese Register sind 
ebenso wie der Zeilenspeicher unmittelbar mit einem Multiplexer 
92 verbunden. 

Der Konturpunktabstand wird mittels eines Dif f erenzgliedes 94 
bestimmt und mittels eines Komparators 96 einer 
Schwellenwertbetrachtung mit einem maximalen Abstandswert 
unterzogen. Anschliefiend wird die vorstehend erlauterte "AND" - 
Ve r knup f ung 

NC := (8 Dist < Dist_Threshold) AND (8 Cont > 0) 

durchgefuhrt und die Segmentnummer von einem 
Segmentnummerngenerator 98 erzeugt, so dass das 

Nachbarschaf tskriterium eine Funktion des Konturpunktabstandes 
und/oder des Kontrastes ist. Der Segmentnummerngenerator 98 ist 
im Detail in Fig. 2 0 dargestellt. 

Dritter Hauptprozess 

Der dritte Hauptprozess, in welchem die statistischen Momente S 
berechnet werden, lauft gegenuber dem zweiten Hauptprozess 
zeitlich verzogert ab. 

Wahrend des Schreibens in den Speicher Ml durchlauft die 
Konturpunktf olge eine Recheneinheit , definiert als 
Statistikprozessor (Statistical Processor) geeignet zur 
Bestimmung der statistischen Momente. 
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Aus der Struktur des Konturpunkts werden die X- und Y- 
Koordinate sowie der Kontrast CONT kopiert und entsprechend den 
Gleichungen zur Momentberechnung akkumuliert, Hierzu wird im 
Speicher M3 eine Struktur mit Momenten S, in diesem Beispiel 
bis zur 2. Ordnung, fur spezielle Anwendungen auch hoherer 
Ordnung wie f olgt angelegt : 



n 



S_x := Z *t 



i = 1 



n 



tS JC\ » / j J£ . 



/7 



:= Z y t 



i= 1 



A/ 



:= Z > ; / 2 



7 = 1 

n 



S_xy := £ 



fas 1 



/i 



£_coHf := T CCHVT. 



/= l 



jS'2 := w 



:= « 



Z 



y 



S6 := « 



V= i J 
f " 

V- 1 



Z^ 

\ f n \ ( n \ 

Z *, Z ^ 

; VJ^ 1 /V =1 / 



Objjioments . := [«, S2, £4, ] 



Eine Berechnung bis zur 3 . Ordnung ist insbesondere bei der 
Erkennung von nicht-linearen, z.B. gekrummten Kanten oder 
Strukturen vorteilhaft. Mit dem erfindungsgemafien Konzept 
erscheint bei entsprechender Hardwareentwicklung eine 
Berechnung sogar bis zur 4. Ordnung moglich. 
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Die Strukturen werden fur jede Richtung Dir = 0°, 45° , 90° und 
13 5° durch Multiplizierer/Akkumulatoren in Form eines 
Momentvektors aufgebaut und in einer Liste Obj_Moments [i] , wie 
vorstehend berechnet, abgelegt. Diese Liste wird uber eine 
nicht gezeigte Schnittstelle gespeichert und kann intern weiter 
komprimiert oder direkt von einem Mikrorechner gelesen werden. 
Die Liste Obj_Moments [i] weist ein im Vergleich zum 
ursprunglichen Grauwertbild erheblich verringertes Datenvolumen 
auf . Die Kompressionsrate erreicht in Abhangigkeit vom 
Bildinhalt Werte von etwa 1:200 bis 1:5000 gegenuber dem 
Originalbild des bildgebenden Systems bzw. der CCD-Kamera, ohne 
dass Datenverluste fur die Gitterapproximation entstehen. 

Fur die weitere Verarbeitung werden die Anstiege der 
Bestgeraden durch die segmentierten Konturpunkte zweckmaSig als 
Differenz zu den vier Abtastrichtungen berechnet . 

In Fig. 22 ist eine Realisierung mit vier Richtungen 
DIR1 bis DIR4 gezeigt . Die Richtungen DIR1 bis DIR4 sind 
gegenuber den Abtastrichtungen urn 90° gedreht . Die Konturpunkte 
22 eines Objekts - in diesem Fall einer digitalen geraden 
Strecke 100 - sind als Rhomben 102 markiert . Diese Strecke hat 
im kartesischen Koordinatensystem des Beispiels den Anstieg m = 
0,65 entsprechend 33°. Die Strecke liegt im Beispiel innerhalb 
des Richtungssektors DIR2 , die Strecken im Winkelbereich 
< 22. 5°.. 67. 5° > des kartesischen Koordinatensystems erf asst . 

Eine besonders einfache Hardwarerealisierung der Approximation 
der Bestgeraden 100 ergibt sich, wenn der Dif f erenzanstieg Am 
zwischen der Richtung der Bestgeraden 100 und der jeweiligen 
Hauptrichtung direkt berechnet wird. Die Dif f erenzanstiege 
werden als m_0 , m__4 5 , m_90 und m_135 bezeichnet und werden, 
durch Taylorreihen approximiert , wie folgt berechnet: 
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DIR1, <-22 .5°. . 22 .5°>: 

S6 

X: S2-S4 

mj) := .408 x 5 - .708 x 3 + .983 x 

DIR2 , <2 2.5°..67.5°>: 

= _ S2- S4 
x: - ^ - 

m_45 := .000464 x 5 - .0117 x 3 + .247 x 

DIR3 , <67.5°..112.5°>: 

x: S2 ~_ S4 

m_90 := .403 x 5 - .708 x 3 + .983 x 

DIR4, <112 . 5° . .15 7.5°>: 

S2 - S4 
X: S6 

mJ35 := .000464 x 5 - .01 17 x 3 + .247 x 

Ferner werden die Schwerpunkte [xO, yO] der digit alen Strecken 
berechnet mit : 

S x 

xO := — - 

n 

yO := 

n 

Die Ergebnisse der Berechnung werden in eine fur jede Richtung 
getrennt angelegte Merkmalsliste Features! eingetragen. 

Features. := [ [xO, y0] 9 n, mJDIR , Sjcont ] 
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AnschlieSend wird ein Objektfilter eingesetzt, das insbesondere 
Rauschen unterdruckt, in verschiedenen Richtungen gefundene 
gleichartige Segmente streicht und bei Bedarf Segmente anhand 
der Koinzidenzinf ormation vereinigt . 

Hierzu kann im einfachsten Fall das Obj ektf ilter-Kriterium 
(n > 2) AND (abs (m_DIR) < arctan (22.5°)) 
verwendet werden. 

Die grafische Darstellung der approximierten und gefilterten 
digitalen Stecken 104 ist in Fig. 10 gezeigt. 

In Abhangigkeit von der zu realisierenden Applikation werden 
die erhaltenen Segmente in Subpixelqualitat zu Objekten 
zusammengef asst . Fur ein- und zweidimensionale Barcodes sind 
dies zunachst Gitterstrukturen, die dann zur Abtastung der 
Grauwerte des Codes verwendet werden. Das auf dem 
erfindungsgemaSen Bildverarbeitungssystem ablaufende Verfahren 
ist omnidirektional in Videoechtzeit umsetzbar. Durch die 
Erfassung samtlicher verfugbarer Konturen kann das Raster lokal 
rekonstruiert werden, so dass auch beschadigte o'der 
parallaktisch verzerrte Codes gelesen werden konnen. Die 
Rechenleistung der verwendeten Mikroprozessoren ist fur die 
hier vorgestellte Gitterrekonstruktion und Decodierung in 
Echt zeit ausreichend . 

Die vorstehend beschriebene schnelle Bildverarbeitung, 
insbesondere Segment ierung von Grauwertbildern mit 
Subpixelauf losung ist weitgehend allgemeingultig und kann auch 
fur eine Vielzahl anderer Anwendungen verwendet werden, z.B. in 
der industriellen Messtechnik, Robotersteuerung, fur 
Inspektionsaufgaben und fur schnelle Segment ierungsauf gaben im 
Bereich der Logistik (Schriften in Grauwertbildern lesen, Codes 
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lesen) und fur die schnelle automatische Obj ektidentif izierung, 
z.B. im Point of Sale (POS) -Bereich. 

Eine besonders interessante Anwendung ist die Erkennung von 
biometrischen Formen oder Strukturen, z.B. zur Fingerabdruck- , 
Iris- oder Gesichtserkennung . 

Es ist fur den Fachmann ersichtlich, dass die vorstehend 
beschriebenen Ausfuhrungs formen lediglich beispielhaft zu 
verstehen sind und in vielfaltiger Weise abgewandelt werden 
konnen, ohne den Geist der Erfindung zu verlassen. 
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Patentanspruche : 

1. Bildverarbeitungssystem (1), insbesondere zum 
omnidirektionalen Lesen von optischen Mustern, z.B. ein- 
und zweidimensionalen Codes (18), umfassend zumindest : 

ein bildgebendes System (2) zur Bereitstellung von 
Bilddaten, 

einen Analog-Digital -Umsetzer (4) zur Umsetzung der 
Bilddaten in digitale Bilddaten (12) , 

eine Verarbeitungseinrichtung (6) zur Verarbeitung 
der digitalen Bilddaten (12) , 

eine Recheneinrichtung (8) und 

mehrere Convolver zur Faltung der digitalen 
Bilddaten . 

2. Bildverarbeitungssystem (1) nach Anspruch 1, 

wobei die digitalen Bilddaten (12) mittels der 
mehreren Convolver zeitlich parallel und/oder im 
Zeitmultiplexverf ahren gefaltet werden. 

3. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei die digitalen Bilddaten aus einem einlaufenden 
Bilddatenstrom (12) gebildet werden und der einlaufende 
Bilddatenstrom (12) mittels der mehreren zeitlich parallel 
und/oder im Zeitmultiplexverf ahren arbeitenden Convolver 
gefaltet wird. 

4. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei die Bilddaten ein zumindest zweidimensionales 
Bild reprasentieren und die Convolver in verschiedenen 
Richtungen (0°, 45° , 90° , 135°) arbeiten. 



WO 2005/073911 



41 



PCT/EP2004/000831 



5. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die Convolver mehrere Paare von Convolvern (54) 
umfassen und die digitalen Bilddaten (12) mittels der 
mehreren zeitlich parallel und/oder im 

Zeitmultiplexverf ahren arbeitenden Paare von Convolvern 
(54) gefaltet werden (Fx__0, Fx_l) und 

wobei die beiden Convolver (54) eines Paares in 
derselben Richtung (0°, 45° , 90°, 135°) arbeiten. 

6 . Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die digitalen Bilddaten (12) mittels vier 
zeitlich parallel und/oder im Zeitmultiplexverf ahren 
arbeitenden Paaren von Convolvern (54) , die in vier urn 
jeweils 45° gedrehten Richtungen (0°, 45°, 90° , 135°) 
arbeiten, gefaltet werden (Fx_0, Fx__l) . 

7. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die digitalen Bilddaten (12) innerhalb einer 
n x n, insbesondere 6x6 Umgebung gefaltet werden (Fx_0, 
Fx__l) . 

8. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die digitalen Bilddaten ein einlaufender 
Bilddatenstrom (12) sind und in einem ersten Hauptprozess 
in der Verarbeitungseinrichtung (6) der einlaufende 
Bilddatenstrom (12) mit den mehreren zeitlich parallel 
und/oder im Zeitmultiplexverf ahren arbeitenden Convolvern, 
die in jeweils gedrehten Richtungen (0°, 45° , 90°, 135°) 
arbeiten, innerhalb einer n x n Umgebung gefaltet wird. 

9. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 
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wobei mitt els cier Faltungsergebnisse (Fx_0, Fx_l) 
Konturpunkte (22) erzeugt werden und eine Untermenge der 
Konturpunkte (22) in eine Konturpunktliste (20) 
eingetragen wird. 

10. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei mittels der Faltungsergebnisse (Fx_0 , Fx_l) der 
Convolver (54) Operanden fur eine logische Entscheidung 
ermittelt werden und 

wobei das Bildverarbeitungssystem (1) einen 
Entscheider (60) umfasst, welcher in Abhangigkeit der 
Operanden eine logische Grofie (B [k] ) bereitstellt und ein 
Konturpunkt (22) in Abhangigkeit von der logischen GroJSe 
(B [k] ) in eine Konturpunktliste (20) eingetragen wird. 

11. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei ein Konturpunkt (22) zumindest mit den Werten 
X-Position, Y-Position und dem zugehorigem Kontrastwert 
(CONT) in Abhangigkeit der logischen GroSe (B [k] ) in eine 
Konturpunktliste (20) eingetragen wird. 

12. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die logische GroJSe ein boolescher Vektor B [k] 
mit einer Mehrzahl von logischen Variablen (k = 1,2,...) 
ist und 

wobei eine erste der logischen Variablen B[l] von 
einem Uberschreiten eines Schwellwertes des 
Absolutbetrages der Dif ferenz der zu einem Convolverpaar 
(54) gehorenden Faltungsergebnisse (Fx_0 , Fx_l) abhangt, 

eine zweite der logischen Variablen B[2] von einem 
Vorzeichenunterschied der zu einem Convolverpaar (54) 
gehorenden Faltungsergebnisse (Fx__0, Fx_l) abhangt, 

eine dritte der logischen Variablen B [4] davon 
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abhangt, ob eines der zu einem Convolverpaar (54) 
gehorenden Faltungsergebnisse (Fx__0, Fx_l) gleich null ist 
und 

wobei ein Konturpunkt (22) in Abhangigkeit einer 
logischen Verkniipfung der ersten, zweiten und/oder dritten 
logischen Variablen in eine Konturpunktliste (2 0) 
eingetragen wird (Contour__Point_jvalid) . 

13. Bildverarbeitungssystem (1) nach Anspruch 12, 

wobei die logische Verkniipfung zumindest die 
boolesche Verkniipfung : 

B[l] AND {B[2] OR B[4]} umfasst und der Konturpunkt 
(22) in die Konturpunktliste (20) eingetragen wird, wenn 
die logische Verkniipfung WAHR ergibt . 

14. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei fur jede Richtung (0°, 45°, 90° , 135°) ein 
Convolverpaar (54) vorgesehen ist und fur jede Richtung 
jeweils eine Konturpunktliste (20) erstellt wird. 

15. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei ein Konturpunkt (22) genau dann in eine 
Konturpunktliste (2 0) in einen Speicher zumindest mit den 
Werten X-Position, Y-Position und Kontrastwert 
(P (X, Y, Kontrastwert ) ) eingetragen wird, 

wenn a) die Faltungsergebnisse (Fx_0 , Fx_l) der zu 
einem Convolverpaar (54) gehorenden Operanden 
unterschiedliche Vorzeichen aufweist und die Differenz der 
Operanden in der vorgegebenen Richtung einen Schwellwert 
■fiber schreitet oder 

wenn b) genau ein Operand gleich null ist und die 
Differenz der Operanden in der vorgegebenen Richtung einen 
Schwellwert (Fx Threshold) iiberschreitet . 
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16. Bildverarbeitungssystem (1), insbesondere zum 
omnidirektionalen Lesen von optischen Mustern, z.B. ein- 
und zweidimensionalen Codes (18) , insbesondere nach einem 
der vorstehenden Anspruche, umfassend zumindest : 

ein bildgebendes System (2) zur Bereitstellung von 
Bilddaten, 

einen Analog-Digital-Umsetzer (4) zur Umsetzung der 
von dem bildgebenden System bereitgestellten Bilddaten in 
digitale Bilddaten (12) , 

eine Verarbeitungseinrichtung (6) zur Verarbeitung 
der digitalen Bilddaten, 

eine Recheneinrichtung (8) und 

einen Nachbarschaf tsprozessor (90) zum Auslesen und 
Verketten von Konturpunkten (22) . 

17. Bildverarbeitungssystem (1) nach Anspruch 16, 

wobei in einem zweiten Hauptprozess , welcher zu dem 
ersten Hauptprozess zeitlich verzogert ist, Konturpunkte 
(22, P (X,Y, Kontrastwert) ) benachbarter Zeilen und/oder 
Spalten ( j , j-1) von dem Nachbarschaf tsprozessor 
ausgelesen und anschlieiSend bei Erfiillung eines 
Nachbarschaf tskriteriums (NC) verkettet und in eine 
Konturpunktliste (2 0) eingetragen werden . 

18. Bildverarbeitungssystem (1) nach Anspruch 17, 

wobei die Nachbarschaf t eine Funktion des 
Konturpunktabstandes und/oder der Kontrastwerte (CONT) der 
benachbarten Konturpunkte (22) ist. 

19. Bildverarbeitungssystem (1), insbesondere zum 
omnidirektionalen Lesen von optischen Mustern, z.B. ein- 
und zweidimensionalen Codes (18) , insbesondere nach einem 
der vorstehenden Anspruche, umfassend zumindest: 

ein bildgebendes System (2) zur Bereitstellung von 
Bilddaten, 

einen Analog-Digital-Umsetzer (4) zur Umsetzung der 
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von dem bildgebenden System bereitgestellten Bilddaten in 

digitale Bilddaten (12) , 

eine Verarbeitungseinrichtung (6) zur Verarbeitung 

der digitalen Bilddaten, 

eine Recheneinrichtung (8) und 

einen Statist ikprozessor zum Auslesen einer 

Segmentliste . 

20. Bildverarbeitungssystem (1) nach Anspruch 19, 

wobei die Segmentliste eine um zumindest eine 
Segmentnummer erganzte Konturpunktliste ist . 

21- Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei, vorzugsweise in der Verarbeitungseinrichtung 
(6) , eine Obj ekt zuordnung der Konturpunkte (2 2) 
durchgef uhrt wird . 

22. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei in einem dritten Hauptprozess , welcher zu dem 
zweiten Hauptprozess zeitlich verzogert ist, die 
Segmentliste durch den Statistikprozessor ausgelesen wird 
und wobei die statistischen Momente (S) fur die Objekte 
jeder Richtung (DIR1 bis DIR4) berechnet werden. 

23. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei in einem dritten Hauptprozess, welcher zu dem 
zweiten Hauptprozess zeitlich verzogert ist, die 
Segmentliste durch den Statistikprozessor ausgelesen wird 
und wobei in einem Multiplizierer/Akkumulator die 
statistischen Momente (S) bis zur zweiten, dritten 
und/oder vierten Ordnung fiir die Objekte jeder Richtung 
(DIR1 bis DIR4) berechnet werden. 
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24. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die Bilddaten als Bilddatenstrom (12) der 
Verarbeitungseinrichtung (6) zugefuhrt we r den und die 
Konturpunktliste (2 0) bereits wahrend des Zufuhreris des 
Bilddatenstroms (12) erzeugt wird. 

25. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei in einem oder mehreren Speichern zur Laufzeit 
des Bildes nach Richtungen sortierte partitionierte 
Konturpunkt listen (20) angelegt sind. 

26. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei eine Pixel interpolation zur Reduzierung des 
Quant isierungs- oder Digitalisierungsrauschens 
durchgef iihrt wird . 

27. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die Konturpunkt e (22) in der Konturpunktliste 
(2 0) mit Subpixelauf losung abgespeichert sind. 

28. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei zumindest ein Gradient (Grad_l, Grad_2) fur 
jede Richtung (DIR1 bis DIR4) berechnet wird und 
vorzugsweise in der Konturpunktliste abgespeichert wird. 

29. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die Differenz zweier Faltungsergebnisse (Fx_0 - 
Fx_l) berechnet wird und vorzugsweise in der 
Konturpunktliste (2 0) abgespeichert wird. 
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30. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei zur Laufzeit des Bildes ein Gradient oder 
mehrere Gradienten (Grad_l, Grad__2) und die Differenz 
zweier Faltungsergebnisse (Fx_0 - Fx__l ) in der jeweiligen 
Filterrichtung berechnet werden und einer der Gradienten 
und/oder die besagte Differenz als Kontrast (CONTx) 
innerhalb der Konturpunktliste (2 0) abgespeichert wird. 

31. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei der Inhalt der Konturpunktliste (2 0) fur jede 
Richtung in einen Speicher (Ml) kopiert wird. 

32. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei der Inhalt der Konturpunktliste (20) aus der 
Verarbeitungseinrichtung (6) fur jede Richtung nach jeder 
Zeile des bildgebenden Systems in einen, vorzugsweise 
externen Speicher (Ml) kopiert wird. 

33. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei in der Verarbeitungseinrichtung (6) eine 
Segment ierung durchgefuhrt wird. 

34. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei eine Schnittstelle (34) einer 
Datenspeichereinheit (36) nach Bearbeitungsf ortschritt 
eines Nachbarschaf tsprozessors (90) die aktuelle Zeile der 
Konturpunktliste (20) getrennt nach Richtungen in einen 
Arbeitsspeicher (M2) des Nachbarschaf tsprozessors (90) 
kopiert . 
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35. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei der Nachbarschaf tsprozessor (90) mit einem 
Nachbarschaf tskriterium (NC) Nachbarschaf ten f eststellt , 
Konturpunkte (22) segmentiert und/oder die Segment nummern 
und Koinzidenzien in eine erweiterte Konturpunktliste (2 0) 
eintragt . 

36. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei ein Statistikprozessor auf Grundlage der 
Konturpunktliste (20) Momente (S) berechnet . 

37. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei das Bildverarbeitungssystem (1) uber eine 
Ausgangsschnittstelle Daten in folgendem Ausgabef ormat 
ausgibt : 

[Richtung (DIR) , Momente (S) , Segmentnummer (SegNo) , 
Kontrast (CONT) ] . 

38. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei eine Beleuchtungseinrichtung umf asst ist . 
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